鼠年春节，用 GPT-2 自动写对联和对对联
鼠年春节临近，来试试新的基于 GPT2-Chinese 自动对联系统：自动写对联（输入开头进行对联自动生成）和自动对对联（输入上联自动写下联）。老的自动对联功能是去年基于深度学习机器翻译模型上线的一个自动对对联的对话模块：风云三尺剑，花鸟一床书---对联数据集和自动对联机器人。
这一年来，以BERT为代表的预训练模型不断推陈出新，席卷整个自然语言处理（NLP）领域，这其中NLP的难题之一自然语言生成（NLG）也得到了很大的助力，特别是去年上半年 OpenAI 的 GPT-2 的推出，非常惊艳，不过 GPT-2 的模型主要是基于英文领域的语料训练的，虽然到目前为止已经发布了含有15亿参数的完整模型，对于英文领域的自动文本生成非常有帮助，但是对于中文领域的NLG来说还是很受限。
回到中文领域，我们之前推荐过AINLP技术交流群杜则尧同学的开源项目：GPT2-Chinese：【Github】GPT2-Chinese：中文的GPT2训练代码 ，这个项目可以针对中文数据进行 GPT-2 模型的训练，可以写诗，新闻，小说，或是训练通用语言模型。所以对于自动对联生成来说，我能想到的就是基于 GPT2-Chinese 和对联数据训练一份对联领域的 GPT2 模型，用于对联自动生成：写对联和对对联。幸运的是，对联数据已经有了，依然是我们去年使用过 couplet-dataset ，特别感谢提供这份数据的同学，这份对联数据包含70多万条对联，唯一可惜的是没有横批，要是有横批，就可以制造更完整的自动写对联和对对联系统了。
特别需要说明的是，这里并不是基于一个大的中文 GPT-2 模型进行特定领域 finetune 的，虽然目前已经有了大型的中文 GPT-2 预训练模型：gpt2-ml ，但是和 GPT2-Chinese 是两个体系，而 GPT2-Chinese 目前还不支持这个大模型的迁移。关于如何使用 GPT2-Chinese 进行对联数据的 GPT2 模型训练，可以直接参考该项目的代码和文档，写得非常清楚，如果有问题，可以查看一下 issue，我遇到的问题基本上就是通过文档和 issue 解决的，这里提几个注意的点：
1）训练数据可以按 GPT2-Chinese 训练数据的格式要求写个脚本进行转换，可以加一些标记符，譬如开头，结尾以及上联下联之间的分隔符，这样在生成的时候可以基于这些标记符做trick；
2）训练时请将参数 min-length 设置为一个较小的数字，默认为128，由于对联数据长度比较短，按默认的设置训练后只会得到乱码，这里直接设置为1;
3）根据自己GPU显存的大小调整 batch_size 和配置参数, batch_size 默认为8，训练时在1080TI的机器上会出现OOM，将其设置为4就可以完全跑通了，其他参数不用动；
对联 GPT-2 模型训练完成后，可以直接基于 GPT2-Chinese 里面的 generate.py 脚本进行测试，很方便，我基于 generate.py 和 flask-restful 写了一个 GPT2 的 Server 版本，对接到 AINLP 公众号后台了，感兴趣的同学可以关注 AINLP 公众号，直接进行测试：
关键词“写对联”触发对联生成，例如输入“写对联鼠年”，对联模型会基于“鼠年”进行自动续写，会给出以“鼠年”开头大概3个对联：
关键词“对对联”触发基于上联对下联，例如输入“对对联 一帆风顺年年好”，会给出大概3个候选对联：
当然你可以用“上联”触发老的对联版本进行对比：
至于两个版本的效果，欢迎多做对比，如果遇到了很棒的机器生成对联，欢迎留言分享。最后，欢迎关注AINLP公众号，测试自动生成对联和自动对对联功能：
关于AINLP对话功能模块，感兴趣的同学还可以参考：
腾讯词向量和相似词、相似度、词语游戏系列
相似词查询：玩转腾讯 AI Lab 中文词向量
玩转腾讯词向量：词语相似度计算和在线查询
腾讯词向量实战：通过Annoy进行索引和快速查询
玩转腾讯词向量：Game of Words（词语的加减游戏）
词向量游戏：梅西-阿根廷+葡萄牙=?
腾讯 800 万中文词向量 API Demo 搭建
NLP相关工具及在线测试（公众号对话测试）
五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
中文分词工具在线PK新增：FoolNLTK、LTP、StanfordCoreNLP
Python中文分词工具大合集：安装、使用和测试
八款中文词性标注工具使用及在线测试
百度深度学习中文词法分析工具LAC试用之旅
来，试试百度的深度学习情感分析工具
AINLP公众号新增SnowNLP情感分析模块
自动对联及作诗机
风云三尺剑，花鸟一床书---对联数据集和自动对联机器人
自动对联活动获奖结果以及机器对联赏析
"自动作诗机"上线，代码和数据都是公开的
夸夸聊天机器人及其他技能
一行Python代码实现夸夸聊天机器人
为了夸夸聊天机器人，爬了一份夸夸语料库
夸夸聊天机器人升级：从随机到准个性化
来，试试语音（识别）聊天（机器人）
来，试试成语接龙
推荐一份中文数据，来试试汉字、词语、成语、歇后语在线检索
AINLP公众号新增"狗屁不通文章生成器"接口
来，试试彩虹屁生成器
如果对AINLP公众号的文章感兴趣，也欢迎参考我们的年度阅读清单：AINLP年度阅读收藏清单。
关于AINLP
AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP君微信(id：AINLP2)，备注工作/研究方向+加群目的。